﻿Cumî%netsrteeb%fCăucrust%%5u-n6%:s%istem%de%% întrebare-răsnp%usinsste?%m%de%% PrelucrTaerehan%ici%de%bază%în%% Prelucrarea%Limbajului%Nna%%tural% % Domeniul%% Prelucrării%Limbajului%Natural% • Îşi%propune%să%studieze%limbajul%uman%ca%mijloc%de% comunicare%om-maşină,%pentru%a%intermedia% comunicarea%om-om,%ba%chiar%și%maşină-maşină% • Scopul%ultim:%transformarea%imensei%acumulări%de% cunoştinţe%umane%cuprinse%în%biblioteca%planetară%într-o% zonă%de%explorare%automată% • Instrumentele%de%lucru:%teoretice,%empirice%şi%aplicative% • Un%domeniu%pentru%lingvişti%şi%informaticieni,%dar%mai% ales%pentru%lingvişti-informaticieni%% Tehnologia%limbajului%natural% • Limbajul%vorbit% • Limbajul%scris% • Limbajul%în%corelaţie%cu%alte%modalităţi%de% expresie%(multimodalitate)% Tehnologiile%limbajului%vorbit% • Interpretarea%vocii% – reprezentarea%semnalelor%vocale% – recunoaşterea%vorbirii% – analiza%prozodiei% – recunoaşterea%vorbitorului% • Sinteza%vocală% Prelucrarea%semnalului%sonor% Prin%bunăvoinţa%Acad %H N Teodorescu% Tehnologiile%limbajului%scris% • Prelucrări%sub-sintactice%(nivelul%cuvintelor%și% al%grupurilor)% • Prelucrări%sintactice%(nivelul%propozițiilor%și%al% frazelor)% • Prelucrări%la%nivel%de%discurs%(ce%se%află%dincolo% de%frază?)% Tehnologiile%limbajului%scris% • Analiza%şi%înţelegerea%limbajului% – prelucrări%sub-sintactice% • unităţile%lexicale% • graniţele%de%frază% • granițele%de%propoziții% • partea%de%vorbire%şi%marca%morfologică% • lema% • numele%de%entităţi% • grupurile%(nominale,%verbale,%prepoziţionale%etc )%şi% atracţiile%lexicale%(colocaţii)% Fraze% Solicitat%să%comenteze%un%editorial%recent%al%lui% Dinu%Patriciu,%în%care%acesta%preciza%că%nu% crede%în%social-liberalism%şi%să%aprecieze%dacă,% astfel,%a%dat%o%lovitură%de%imagine%USL,% Antonescu%a%spus%că%nu%ştie%dacă%Patriciu%s-a% referit%la%USL %|%El%a%precizat%că%USL%este%o% uniune%social-liberală%pentru%că%reuneşte%un% partid%social-democrat%cu%un%partid%naţional% liberal %|" Propoziții% Solicitat%să%comenteze%un%editorial%recent%al%lui% Dinu%Patriciu,|%în%care%acesta%preciza|că%nu% crede%în%social-liberalism|%şi%să%aprecieze%| dacă,%astfel,%a%dat%o%lovitură%de%imagine%USL,|% Antonescu%a%spus|că%nu%ştie|dacă%Patriciu%s-a% referit%la%USL |" Unități%lexicale% Solicitat%să%comenteze%un%editorial%recent%al%lui% Dinu%Patriciu%,%în%care%acesta%preciza%că%nu% crede%în%social-liberalism%şi%să%aprecieze%dacă%,% astfel%,%a%dat%o%lovitură%de%imagine%USL%,%% Antonescu%a%spus%că%nu%ştie%dacă%Patriciu%s%-%a% referit%la%USL% % Lema%și%partea%de%vorbire% Solicitat% %%solicita % %%vb % să% %%%%să% %%%%conj % comenteze% %comenta % %vb % un% %%%%un% %%%%art nehot % editorial % %editorial % %sb % recent % %%recent % %%adj % % Adnotarea%morfologică% • English 0 % %% 1 %He %he %subj:>2 %@SUBJ%PRON% 2 %did %do %v-ch:>4 %@+FAUXV%V% 3 %not %not %neg:>2 %@ADVL%NEG-PART% 4 %know %know %main:>0 %@-FMAINV%V% 5 %her %she %subj:>6 %@OBJ%PRON% 6 %name%name%obj:>4%@-FMAINV%V% • Romanian Nu % ştia % cum % o % cheamă % Nivelul%morfologic:%% cuvintele%flexionează% mănânc% mănânci% mănâncă% mâncăm% mâncați%%% mănâncă% Cuvintele%sunt%formate%din% părți%fixe%și%părți%variabile% Nivelul%morfologic:%% cuvintele%flexionează% mCuvintele%sunt%formate%din% ănânc% părți%fixe%și%părți%variabile% mănânci% mănâncă% m âncăm% m âncați%%% mănâncă% Nivelul%morfologic:%% cuvintele%flexionează% mCuvintele%sunt%formate%din% ănânc+ % părți%fixe%și%părți%variabile% mănânc+i% mănânc+ă% m ânc+ăm% m ânc+ați%%% mănânc+ă% Nivelul%morfologic:%% cuvintele%flexionează% mănânc% %p=1,%n=s% mănânci% %p=2,%n=s% mănâncă% %p=3,%n=s% mâncăm% %p=1,%n=p% mâncați% %p=2,%n=p% mănâncă% %p=3,%n=p% Abordarea%brutală:% memoreză%toate%formele% flexionate%ca%atare% Grupuri%nominale% Solicitat%să%comenteze%[un%editorial%recent%al%lui% [Dinu%Patriciu]],%în%[care]%[acesta]%preciza%că%nu% crede%în%[social-liberalism]%şi%să%aprecieze% dacă,%astfel,%a%dat%[o%lovitură%de%[imagine]]% [USL],%[Antonescu]%a%spus%că%nu%ştie%dacă% [Patriciu]%s-a%referit%la%[USL] % Adnotare%la%lemă,%grup%nominal%şi% sintaxă% " " He " " did "" not "" know "" " " " " " her " " " name " " Tehnologiile%limbajului%scris% • Analiza%şi%înţelegerea%limbajului% – prelucrări%sintactice% • formalisme%gramaticale% • parsarea%è%structura%sintactică%a%frazei% % Gramatici funcţionale de dependenţă (FDG) • Structura de arbore: – Nodurile sunt cuvinte – Arcele exprimă relaţii sintactice între cuvinte Relaţii funcţionale în FDG I see a bird Original în http://www ling helsinki fi/~tapanain/dg/doc/TR-1/node1 html SECTION00010000000000000000 Parsare • Top-down versus bottom-up • Depth-first versus breadth-first • Algoritmul CYK • Diagrame active • Tomita… Tehnologiile%limbajului%scris% • Analiza%şi%înţelegerea%limbajului% – Prelucrări%semantice%şi%de%discurs% • dezambiguizare%semantică%è%sensurile%cuvintelor% • determinarea%rolurilor%semantice%ale%verbelor% • structura%retorică%a%discursului%şi%dialogului% • rezoluţia%anaforelor% Cuvintele%îşi%precizează%sensul%în%context% • Ion%se%prinse%în%horă%cu%o%fată%cu%cosiţe%lungi %% • Când%fată%iapa%ta?% • Mă%mai%dau%o%dată%pe%pâr?a%roşie %% • I-am%dat%una%peste%mână % • Maria%a%dat%cartea%înapoi %% • M-am%scos…% • Mi-am%scos%măseaua%de%minte % Structura%retorică%a%discursului% 1 Cînd a ajuns Apolo în muntele Parnas, % 2 dihania uriaşă s-a avîntat spre dînsul, % 3 dornică să-l ucidă % 4 Dar zeul şi-a întins arcul % 5 A tras prima sageată % 6 Erau doar patru zile de cînd văzuse lumea, % 7 şi întîia lui săgeată a şi nimerit monstrul % din Legendele Olimpului, de Alexandru Mitru% Rezoluţia%anaforei% If%the%baby%does%not%thrive%on%raw%milk,%boil%it %% Hobbs,%1997% Tehnologiile%limbajului%scris% • Aplicaţii%complexe% – rezumare%automată% – clasificarea%documentelor% • cuvinte%şi%expresii%cheie% – interogări%asupra%textelor%-%ques?on-answering%% • pe%domenii%închise/deschise% – implicaţii%logice%–%textual%entailment%% – traducere%automată% – analiza%sentimentelor% – analize%temporale% Rezumare:%% un%extras%din%“Legendele%Olimpului”% Zeul - după aceea - a coborît în lume şi a cutreierat prin ţări nenumărate, căutîndu-şi loc de templu Şi, tot umblînd pe drumuri, Apolo a ajuns în nişte locuri stranii, stîncoase, mohorîte Pasămite sosise în muntele Parnas Aici sînt nişte vîrfuri de piatră cenuşie, ce parcă stau să cadă într-un abis de smoală clocotitor de vuiet Şuvoaiele de aer - un aer cald si umed - ţîşnesc necontenit şi vorbele rostite se-ntorc iute-n ecouri, sunînd din stîncă-n stîncă P ă durea-i misterioas ă Frunzi ş ul ei ş opte ş te Un izvor î ş i pr ă vale apa sa cristalin ă spre valea-nnegurat ă s ă rind peste pripoare Ş i-n munte-i o strîmtoare afund ă , mocirloas ă , unde traia atuncea - precum spunea legenda - un ş arpe numit Piton Trupul acestui monstru era lung cît un munte, cu-o sută de grumazuri şi o sută de guri, care azvîrleau flăcări, duhori înecăcioase Duhorile acestea în ţ esau tot v ă zduhul ş i oameni, fiare, gîze, p ă s ă ri sau alte fiin ţ e, dac ă treceau pe acolo, se stingeau otr ă vite Şarpele se născuse dintr-o mocirlă verde Mocirla rămăsese din apele vărsate acolo, prin potopul orînduit de Zeus Piton primise-n taină poruncă de la Hera să-l pîndească pe Apolo, cînd va trece prin munte, şi să-i răpună viaţa Hera-l ura pe fiul cel nou născut al Letei, pentru că soţul său, prea puternicul Zeus, ţinea mai mult la dînsul decit la fiii ei: Hefaistos şi Ares Cînd a ajuns Apolo în muntele Parnas, dihania uriaşă s-a avîntat spre dînsul, dornică să-l ucidă Dar zeul şi-a întins arcul A tras prima săgeată Erau doar patru zile de cînd văzuse lumea, şi întiia lui săgeată a şi nimerit monstrul E drept c ă ş i s ă geata fusese f ă urit ă de fierarul din Lemnos, Hefaistos, schilodul, cu mare me ş te ş ug Cum i-a p ă truns s ă geata în carnea mucedă, şarpele a simţit că i-a venit sfîrşitul A încercat să scape şi să se furişeze într-o pesteră adîncă Dar n-a mai izbutit Chinuit de dureri, Piton s-a zvîrcolit prin verzile mocirle în care vieţuia A sărit în nisipul cel galben de pe maluri şi a lunecat iară, cu şuiere cumplite, în putreda baltoacă, în vreme ce veninul i se scurgea din boturi Monstrul s-a zvîrcolit tot mai încet în apă Ochii i s-au lăsat S-au cufundat pe încetul, de tot, în întuneric Aşa s-a prăpădit Iar trupul său lungit pe zeci şi zeci de stînjeni, i s-a uscat cu timpul, sub razele de soare Ş i locurile acestea unde-a r ă pus Apolo pe fiorosul monstru au fost numite Delfi În Delfi se vor pune temelii unui templu şi-unui vestit oracol, a hotărît Apolo Oamenii vor putea să-ntrebe şi să afle răspuns la întrebări, prin preuteasa mea, Pitia, înţeleapta Ea se va aşeza pe un trepied de aur, învăluit în pielea lui Piton cel răpus, deasupra unei grote adînci si fumegînde, ce duce pînă-n ţara lui Hades, mohorîtul Prin ea voi da răspunsuri Dar oamenii datori sînt să-mi dăruiască aur şi scule preţioase şi zeci de bogăţii, răsplată pentru mine şi preoţii din templu Mai poruncesc, de-asemeni, să aibă loc, în cinstea luptei mele cu monstrul, jocuri, serbări, concursuri, şi cîntece, şi danţuri Să fie veselie, iar eu să fiu slăvit După aceea zeul, pătat încă de sînge - de sîngele lui Piton - a pornit să se spele, să-şi purifice trupul, în micul rîu Tempe Rezumare:%% un%extras%din%“Legendele%Olimpului”% Zeul - după aceea - a coborît în lume şi a cutreierat prin ţări nenumărate, căutîndu-şi loc de templu Şi, tot umblînd pe drumuri, Apolo a ajuns în nişte locuri stranii, stîncoase, mohorîte Pasămite sosise în muntele Parnas Aici sînt nişte vîrfuri de piatră cenuşie, ce parcă stau să cadă într-un abis de smoală clocotitor de vuiet Şuvoaiele de aer - un aer cald si umed - ţîşnesc necontenit şi vorbele rostite se-ntorc iute-n ecouri, sunînd din stîncă-n stîncă P ă durea-i misterioas ă Frunzi ş ul ei ş opte ş te Un izvor î ş i pr ă vale apa sa cristalin ă spre valea-nnegurat ă s ă rind peste pripoare Ş i-n munte-i o strîmtoare afund ă , mocirloas ă , unde traia atuncea - precum spunea legenda - un ş arpe numit Piton Trupul acestui monstru era lung cît un munte, cu-o sută de grumazuri şi o sută de guri, care azvîrleau flăcări, duhori înecăcioase Duhorile acestea în ţ esau tot v ă zduhul ş i oameni, fiare, gîze, p ă s ă ri sau alte fiin ţ e, dac ă treceau pe acolo, se stingeau otr ă vite Şarpele se născuse dintr-o mocirlă verde Mocirla rămăsese din apele vărsate acolo, prin potopul orînduit de Zeus Piton primise-n taină poruncă de la Hera să-l pîndească pe Apolo, cînd va trece prin munte, şi să-i răpună viaţa Hera-l ura pe fiul cel nou născut al Letei, pentru că soţul său, prea puternicul Zeus, ţinea mai mult la dînsul decit la fiii ei: Hefaistos şi Ares Cînd a ajuns Apolo în muntele Parnas, dihania uriaşă s-a avîntat spre dînsul, dornică să-l ucidă Dar zeul şi-a întins arcul A tras prima săgeată Erau doar patru zile de cînd văzuse lumea, şi întiia lui săgeată a şi nimerit monstrul E drept c ă ş i s ă geata fusese f ă urit ă de fierarul din Lemnos, Hefaistos, schilodul, cu mare me ş te ş ug Cum i-a p ă truns s ă geata în carnea mucedă, şarpele a simţit că i-a venit sfîrşitul A încercat să scape şi să se furişeze într-o pesteră adîncă Dar n-a mai izbutit Chinuit de dureri, Piton s-a zvîrcolit prin verzile mocirle în care vieţuia A sărit în nisipul cel galben de pe maluri şi a lunecat iară, cu şuiere cumplite, în putreda baltoacă, în vreme ce veninul i se scurgea din boturi Monstrul s-a zvîrcolit tot mai încet în apă Ochii i s-au lăsat S-au cufundat pe încetul, de tot, în întuneric Aşa s-a prăpădit Iar trupul său lungit pe zeci şi zeci de stînjeni, i s-a uscat cu timpul, sub razele de soare Ş i locurile acestea unde-a r ă pus Apolo pe fiorosul monstru au fost numite Delfi În Delfi se vor pune temelii unui templu şi-unui vestit oracol, a hotărît Apolo Oamenii vor putea să-ntrebe şi să afle răspuns la întrebări, prin preuteasa mea, Pitia, înţeleapta Ea se va aşeza pe un trepied de aur, învăluit în pielea lui Piton cel răpus, deasupra unei grote adînci si fumegînde, ce duce pînă-n ţara lui Hades, mohorîtul Prin ea voi da răspunsuri Dar oamenii datori sînt să-mi dăruiască aur şi scule preţioase şi zeci de bogăţii, răsplată pentru mine şi preoţii din templu Mai poruncesc, de-asemeni, să aibă loc, în cinstea luptei mele cu monstrul, jocuri, serbări, concursuri, şi cîntece, şi danţuri Să fie veselie, iar eu să fiu slăvit După aceea zeul, pătat încă de sînge - de sîngele lui Piton - a pornit să se spele, să-şi purifice trupul, în micul rîu Tempe Rezumare:%% un%extras%din%“Legendele%Olimpului”% Zeul - după aceea - a coborît în lume şi a cutreierat prin ţări nenumărate, căutîndu-şi loc de templu Şi, tot umblînd pe drumuri, Apolo a ajuns în nişte locuri stranii, stîncoase, mohorîte Pasămite sosise în muntele Parnas Aici sînt nişte vîrfuri de piatră cenuşie, ce parcă stau să cadă într-un abis de smoală clocotitor de vuiet Şuvoaiele de aer - un aer cald si umed - ţîşnesc necontenit şi vorbele rostite se-ntorc iute-n ecouri, sunînd din stîncă-n stîncă P ă durea-i misterioas ă Frunzi ş ul ei ş opte ş te Un izvor î ş i pr ă vale apa sa cristalin ă spre valea-nnegurat ă s ă rind peste pripoare Ş i-n munte-i o strîmtoare afund ă , mocirloas ă , unde traia atuncea - precum spunea legenda - un ş arpe numit Piton Trupul acestui monstru era lung cît un munte, cu-o sută de grumazuri şi o sută de guri, care azvîrleau flăcări, duhori înecăcioase Duhorile acestea în ţ esau tot v ă zduhul ş i oameni, fiare, gîze, p ă s ă ri sau alte fiin ţ e, dac ă treceau pe acolo, se stingeau otr ă vite Şarpele se născuse dintr-o mocirlă verde Mocirla rămăsese din apele vărsate acolo, prin potopul orînduit de Zeus Piton primise-n taină poruncă de la Hera să-l pîndească pe Apolo, cînd va trece prin munte, şi să-i răpună viaţa Hera-l ura pe fiul cel nou născut al Letei, pentru că soţul său, prea puternicul Zeus, ţinea mai mult la dînsul decit la fiii ei: Hefaistos şi Ares Cînd a ajuns Apolo în muntele Parnas, dihania uriaşă s-a avîntat spre dînsul, dornică să-l ucidă Dar zeul şi-a întins arcul A tras prima săgeată Erau doar patru zile de cînd văzuse lumea, şi întiia lui săgeată a şi nimerit monstrul E drept c ă ş i s ă geata fusese f ă urit ă de fierarul din Lemnos, Hefaistos, schilodul, cu mare me ş te ş ug Cum i-a p ă truns s ă geata în carnea mucedă, şarpele a simţit că i-a venit sfîrşitul A încercat să scape şi să se furişeze într-o pesteră adîncă Dar n-a mai izbutit Chinuit de dureri, Piton s-a zvîrcolit prin verzile mocirle în care vieţuia A sărit în nisipul cel galben de pe maluri şi a lunecat iară, cu şuiere cumplite, în putreda baltoacă, în vreme ce veninul i se scurgea din boturi Monstrul s-a zvîrcolit tot mai încet în apă Ochii i s-au lăsat S-au cufundat pe încetul, de tot, în întuneric Aşa s-a prăpădit Iar trupul său lungit pe zeci şi zeci de stînjeni, i s-a uscat cu timpul, sub razele de soare Ş i locurile acestea unde-a r ă pus Apolo pe fiorosul monstru au fost numite Delfi În Delfi se vor pune temelii unui templu şi-unui vestit oracol, a hotărît Apolo Oamenii vor putea să-ntrebe şi să afle răspuns la întrebări, prin preuteasa mea, Pitia, înţeleapta Ea se va aşeza pe un trepied de aur, învăluit în pielea lui Piton cel răpus, deasupra unei grote adînci si fumegînde, ce duce pînă-n ţara lui Hades, mohorîtul Prin ea voi da răspunsuri Dar oamenii datori sînt să-mi dăruiască aur şi scule preţioase şi zeci de bogăţii, răsplată pentru mine şi preoţii din templu Mai poruncesc, de-asemeni, să aibă loc, în cinstea luptei mele cu monstrul, jocuri, serbări, concursuri, şi cîntece, şi danţuri Să fie veselie, iar eu să fiu slăvit După aceea zeul, pătat încă de sînge - de sîngele lui Piton - a pornit să se spele, să-şi purifice trupul, în micul rîu Tempe Un%rezumat%obişnuit% Zeul - după aceea - a coborît în lume şi a cutreierat prin ţări nenumărate, căutîndu-şi loc de templu Şi, tot umblînd pe drumuri, Apolo a ajuns în nişte locuri stranii, stîncoase, mohorîte Pasămite sosise în muntele Parnas Şi-n munte-i o strîmtoare afundă, mocirloasă, unde traia atuncea - precum spunea legenda - un şarpe numit Piton Piton primise-n taină poruncă de la Hera să-l pîndească pe Apolo, cînd va trece prin munte, şi să-i răpună viaţa Cînd a ajuns Apolo în muntele Parnas, dihania uriaşă s-a avîntat spre dînsul, dornică să-l ucidă Dar zeul şi-a întins arcul A tras prima săgeată Erau doar patru zile de cînd văzuse lumea, şi întiia lui săgeată a şi nimerit monstrul Monstrul s-a zvîrcolit tot mai încet în apă Aşa s-a prăpădit După aceea zeul, pătat încă de sînge - de sîngele lui Piton - a pornit să se spele, să-şi purifice trupul, în micul rîu Tempe Un%rezumat%focalizat%pe%prima%apariţie%a% lui%Hefaistos% Zeul - după aceea - a coborît în lume şi a cutreierat prin ţări nenumărate Apolo a ajuns în nişte locuri stranii, stîncoase, mohorîte Pasămite sosise în muntele Parnas Ş i-n munte-i o strîmtoare afund ă , mocirloas ă , unde traia atuncea un ş arpe numit Piton Piton primise-n taină poruncă de la Hera să-l pîndească pe Apolo, cînd va trece prin munte, şi să-i răpună viaţa Hera-l ura pe fiul cel nou născut al Letei, pentru că soţul său, prea puternicul Zeus, ţinea mai mult la dînsul decit la fiii ei: Hefaistos şi Ares Cînd a ajuns Apolo în muntele Parnas, dihania uriaşă s-a avîntat spre dînsul, dornică să-l ucidă Dar zeul şi-a întins arcul A tras prima săgeată Erau doar patru zile de cînd văzuse lumea, şi întiia lui săgeată a şi nimerit monstrul Monstrul s-a zvîrcolit tot mai încet în apă Aşa s-a prăpădit După aceea zeul, pătat încă de sînge - de sîngele lui Piton - a pornit să se spele, să-şi purifice trupul, în micul rîu Tempe Un%rezumat%focalizat%pe%a%doua%apariţie% a%lui%Hefaistos% Zeul - după aceea - a coborît în lume şi a cutreierat prin ţări nenumărate Apolo a ajuns în nişte locuri stranii, stîncoase, mohorîte Pasămite sosise în muntele Parnas Ş i-n munte-i o strîmtoare afund ă , mocirloas ă , unde traia atuncea un ş arpe numit Piton Piton primise-n taină poruncă de la Hera să-l pîndească pe Apolo, cînd va trece prin munte, şi să-i răpună viaţa dihania urias ă s-a avîntat spre dînsul, dornic ă s ă -l ucid ă Dar zeul ş i-a întins arcul A tras prima s ă geat ă şi întîia lui săgeată a şi nimerit monstrul E drept c ă ş i s ă geata fusese f ă urit ă de fierarul din Lemnos, Hefaistos, schilodul, cu mare me ş te ş ug Monstrul s-a zvîrcolit tot mai încet în apă Aşa s-a prăpădit După aceea zeul, pătat încă de sînge - de sîngele lui Piton - a pornit să se spele, să-şi purifice trupul, în micul rîu Tempe Limbajul%în%corelaţie%cu%alte%modalităţi% • Reprezentarea%timpului%şi%a%spaţiului% • Text%şi%imagine% • Vorbire%şi%gest% • Mişcările%faciale%şi%recunoaşterea%vorbirii% • Mişcările%faciale%şi%sinteza%vorbirii% • Semantic%Web% Question%Answering%-%Introduction% • Question%Answering%(QA)%can%be%defined%as% the%task%which%takes%a%ques?on%in%natural% language%and%produces%one%or%more%ranked% answers%from%a%collec?on%of%documents% • The%QA%research%area%has%emerged%as%a%result% of%a%monolingual%English%QA%track%being% introduced%at%TREC%(Text%Retrieval%and% Evaluation%Conference:%http://trec nist gov/)% 48% Question%Answering%-%Modules% • QA%systems%normally%adhere%to%the%pipeline%architecture% composed%of%three%main%modules%(Harabagiu%and% Moldovan,%2003):%% – ques`on"analysis"–%the%results%are%keywords,%answer%and% ques?on%type,%focus%% – paragraph"retrieval"-%the%results%are%a%set%of%relevant% candidate%paragraphs/sentences%from%the%document% collec?on% – answer"extrac`on"–"the%results%are%a%set%of%candidate% answers%ranked%using%likelihood%measures% 49% QA%–%Question%Type% • Harabagiu%and%Moldovan,%2003:" – Factoid"–"“Who%discovered%the%oxygen?”,%“When%did% Hawaii%become%a%state?”%or%“What%football%team%won%the% World%Coup%in%1992?”% – List"–"“What%countries%export%oil?”%or%“What%are%the% regions%preferred%by%the%Americans%for%holidays?” % – Defini`on"–"“What%is%a%quasar?”%or%“What%is%a%ques?on- answering%system?”% • How,%Why,%hypothetical,%semantically%constrained,% polar%(Yes/No)%and%cross-lingual%questions% 50% QA%–%Answer%Type%% • Person%-%"What”,%"Who”,%"Whom",%"With%who"%% • Loca`on%(City,%Country,%and%Region)%-%"What% state/city“,%"From%where”,%"Where“% • Organiza`on%-%"Who%produced“,%"Who%made“% • Temporal%(Date%and%Year)%–%“When”% • Measure%(Length,%Surface%and%Other)%–%“How% many/much”% • Count%-%"How%many/much“% • Yes/No%–%“Did%you%fear%that?”,%“Are%you%blue?”% 51% QA%–%Search%collection% • Local%collections,%internal%organization% documents,%newspapers,%Internet% • Closed-domain%-%deals%with%questions%from%a% specific%domain%(medical,%baseball,%%etc ) %Can% exploit%domain-specific%knowledge%(ontologies,% rules,%disambiguation)% • Open-domain%–%general%question%about%anything % Can%use%general%knowledge%about%the%world,% wikipediae,%etc % 52% Examples%of%QA%systems% • BASEBALL%(Green,%1963)%-%answer%questions% about%baseball%games% • LUNAR%(Woods,%1977)%–%geological%analysis%of% rocks%returned%by%the%Apollo%moon%missions% • IURES%(Cristea,%Tufiş,%Mihaiescu,%1985)%–%ICI% repository%of%programs,%medicine,%geography% 53% QA%-%Systems%of%today% • Powerset:%http://www powerset com/%(http://www bing com/)% • Assimov%the%chat%bot:%http://talkingrobot org/b/%% • AnswerBus:%http://www answerbus com/index shtml% • NSIR:%http://tangra si umich edu/clair/NSIR/html/nsir cgi% • START%(The%first%question%answering%%system):% http://start csail mit edu/%% 54% QA%-%Competitions% • CLEF"(Cross%Language%Evaluation%Forum)%started% in%2000%-%http://www clef-campaign org/% European%languages%in%both%monolingual%and% cross-language%contexts% – Coordination:%Istituto%di%Scienza%e%Tecnologie% dell'Informazione,%Pisa,%Italy" • TREC%(Text%REtrieval%Conference)%-%started%in% 1992%http://trec nist gov/% – National%Institute%of%Standards%and%Technology%(NIST),% Gaithersburg,%Maryland,%USA% 59% 60% The%UAIC%system%components% Background knowledge Test data (documents, questions, possible answers) Questions processing: Lemmatization Stop words elimination NEs identification Lucene query Answers processing: - Lemmatization - Stop words elimination - NEs identification - Lucene query documents Identify relevant documents Lucene indexes 2 Partial and global scores per answers 62% Background%knowledge%indexing% • The%Romanian%background%knowledge%has% 161,279%documents%in%text%format%% – 25,033%correspond%to%the%AIDS%topic% – 51,130%to%Climate%Change%topic%% – 85,116%to%Music%and%Society%topic% • The%indexing%component%considers%the%name%of% the%file%and%the%text%from%it%=>%Lucene"index"1" Test%data%processing%–%Processing% questions% • Stop%words%elimination% • Lemmatization% • Named%Entity%identification% • Lucene%query%building% Test%data%processing%–%Processing% possible%answers% • Similar%to%processing%questions%+% • We"use"ontology"(Iftene%and%Balahur,%2008)%for%elimination%of% possible%answers%with%low%probability%to%be%final%answer%(relation% [is located in])% • In%which%European%ci?es%has%Annie%Lennox%performed?% • We%eliminate%from%the%list%of%possible%answers%the%answers%with% non-European%cities%(we%replace%non-European%cities%with%the% value%XXXXX)%% 67% Information%Retrieval%on%Background% Knowledge% • We%used%Lucene%to%retrieve,%for%every%question,%the%relevant% documents%from%the%background%knowledge% • The%result%of%this%step%is%a%list%of%documents%d%for%every%query%q%,% with%associated%values%% – Score1(d,%q)%-%the%relevance%score%for%a%document%d%when%we%search%the% background%knowledge%with%the%Lucene%query%associated%to%question%q% Information%Retrieval%–%Save%relevant% documents% Relevant%files%are%copied%in%a%relative%path% \ \ %% Indexing%relevant%documents%for% questions% • For%every%question%we%index%relevant%documents%returned%by%Lucene%at%the% previous%step%and%relevant%documents%saved%from%the%initial%test%file% 70% • • • Searching%using%relevant%documents%for% questions% Then%in%every%index,%we%performed%searches%using%Lucene%queries% associated%to%possible%answers% For%every%answer,%we%obtained%a%list%of%documents%with%Lucene% relevance%scores%% Score2(d,%a)%is%the%relevance%score%for%document%d%when%we%search%with% the%Lucene%query%associated%to%the%answer%a% 71% Identifying%the%most%probable%answer%% • We%combine%Score1%and%Score2% • In%the%end,%we%consider%the%answer%with%the%highest% value%as%being%the%most%probable%answer% • We%submitted%different%classes%of%runs,%based%on% thresholds%used%to%consider%a%NOA%response:% – for%the%Ro-Ro%task,%we%used%three%thresholds%(0,%0 2,%0 5)% – for%the%En-En%task,%we%consider%one%threshold%(0 2)% 72% Error%Analysis%(1)% • One%of%the%most%common%error%sources%arises% from%our%attempt%to%take%into%account%all%of%the% supporting%snippets%(Sum)%that%our%information% retrieval%procedure%returns%=>%Possible%future" solu`on"(Max"or"Avg)" • When%two%candidates%have%identical%scores%we% choose%the%first%candidate%=>%Possible%future" solu`on:%use%the%question%focus,%and%perform%an% additional%step%of%determining%the%distance% between%each%candidate%and%the%focus% 75% Error%Analysis%(2)% • Another%problem%appears%when%the%top%scoring% snippet%is%obtained%for%an%entity%name%that%has% the%highest%Tf/Idf%value%=>%Possible%future" solu`on:%use%the%question%focus% • For%the%En-En%task,%a%problem%was%that%we%did% not%used%background%information % • Numbers%are%also%a%major%cause%of%errors,%mainly% because%they%can%be%written%either%with%letters% or%with%digits% 76% • Requirements%(Team:%max%2%persons,%Deadline:% 1%March)%% 1)%Create%a%consumer%service%for%the%following%Web%Service:% http://instrumente infoiasi ro/WebQuestionAnswering/%% • Links:%http://jax-ws java net/articles/jaxws-netbeans/%% • 2)%Lucene:%Use%the%following%archive%in%order%to%index%and%to%search%in%a%collections% of%texts%http://thor info uaic ro/~adiftene/Scoala/2012/APLN/Resurse/%% 77% Links% • Yes–no"ques`on:"http://en wikipedia org/wiki/Yes%E2%80%93no question% • Ques`on"Answering:%http://en wikipedia org/wiki/Question answering% • Informa`on"Extrac`on:%http://en wikipedia org/wiki/Information extraction%% • Informa`on"Retrieval:%http://en wikipedia org/wiki/Information retrieval%%% • Lecture"13:"Evalua`on:"Precision"and"Recall" http://courses washington edu/ling473/Lecture13 pdf%% • Precision"and"Recall"of"Five"Search"Engines"for"Retrieval"of"Scholarly"Informa`on"in"the" Field"of"Biotechnology:"http://www webology org/2005/v2n2/a12 html%% 78%